台湾专利TW201308254A 適用複雜場景的移動偵測方法

专利PDF首页>>台湾专利

专利附录

专利说明

权利要求

类似技术

同族专利

引用文献

法律状态

优先权

专利摘要:
本發明為一種適用複雜場景的移動偵測方法，該方法包括：接收包含有複數輸入像素之一影像圖框，該每一輸入像素包含有一第一像素資訊；基於該複數輸入像素執行一多重背景產生模組；基於該多重背景產生模組產生複數背景像素；執行一移動物體偵測模組；以及基於該移動物體偵測模組擷取該背景像素。本發明提出了一個全新的適用複雜場景的移動偵測方法，該方法主要是根據類神經網路中的輻狀基底函數(Radial Basis Function Neural Networks；RBF)以達到在動態場景中精確的偵測移動物體。
公开号:TW201308254A
申请号:TW100128474
申请日:2011-08-10
公开日:2013-02-16
发明作者:Shih-Chia Huang；Ben-Hsiang Do
申请人:Univ Nat Taipei Technology；
IPC主号:G06T7-00

专利说明:
適用複雜場景的移動偵測方法
本發明係一種適用複雜場景的移動偵測方法，尤指一種根據類神經網路中的輻狀基底函數(Radial Basis Function；RBF)以達到在動態場景中精確的偵測移動物體。
按，過去數十年中，為了對抗和控制罪犯和恐怖份子在商業、法律和軍事上的威脅，視訊監控系統的需求日益增加。這也推動了精確自動化處理系統的發展，自動化視訊監控系統不只成為公共環境下安全性的要素，在私人區域同樣的重要。由於在包含運輸網路、老人健康照顧系統、交通車輛安全監控、交通流量分析、物種保存等方面廣泛的研究發展，先進視訊監控系統的科技應用在最近幾年大符增加。在發展自動化的視訊監控系統(Automatic video surveillance systems)中，有許多重要的功能是需要被考慮的，例如移動物體偵測(motion detection)、移動物體分類(classification)，移動物體軌跡偵測(tracking)、移動物體認證(identification)、移動物體活動分析(activity analysis)等。移動物體偵測(motion detection)在自動化視訊監控系統(Automatic video surveillance systems)中，是第一個需要被發展的功能，也是公認中最重要的一個功能，其功能主要是將所有的視訊串流分成前景和背景區域，如果移動物體偵測(motion detection)功能開發良好，相對的後續的功能如：人類移動分析方法、物件為主的視訊壓縮方法、人機互動方法等都變的簡單而容易。
視訊監控系統目前在電腦視覺領域中有很多的應用，其中包括人的動作分析、交通流量監控和分析、物種保存等等。一個完整的視訊監控系統架構通常包含移動物體偵測、物體分類、追蹤、行為辯識、動作分析等功能。而移動物體偵測是視訊監控系統中第一個關鍵的步驟且扮演很重要的角色。
一般來說，大部份的方法在靜能場景的都有不錯的效果。然而，在動態場景(例如：搖晃的樹、噴水池、波浪等)中的移動物體偵測仍是一大難題。其主要原因為動態景中的背景和前景像素值皆大幅且頻繁的變化而導致難以區分動態背景和移動物體。
是以，要如何解決上述習用之問題與缺失，即為本發明之發明人與從事此行業之相關廠商所亟欲研究改善之方向所在者。
故，本發明之發明人有鑑於上述缺失，乃搜集相關資料，經由多方評估及考量，並以從事於此行業累積之多年經驗，經由不斷試作及修改，始設計出此種適用複雜場景的移動偵測方法發明專利者。
本發明之主要目的在於提供一種適用複雜場景的移動偵測方法。
為了達到上述之目的，本發明適用複雜場景的移動偵測方法，該方法包括：接收包含有複數輸入像素之一影像圖框，該每一輸入像素包含有一第一像素資訊；基於該複數輸入像素執行一多重背景產生模組，包括：從該複數輸入像素選擇至少一背景像素，該每一背景像素包含有一第二像素資訊；提供一第一閥值；比較該第一像素資訊與該第一閥值；如該第一像素資訊小於該第一閥值，基於該輸入像素更新該背景像素；以及如該第一像素資訊大於該第一閥值，基於該輸入像素新增該背景像素；基於該多重背景產生模組產生複數背景像素；執行一移動物體偵測模組，包括：基於該複數輸入像素與該複數背景像素計算一輻狀基底函數；基於該輻狀基底函數產生一輸出值；提供一第二閥值；比較該輸出值與該第二閥值；以及如該輸出值小於該第二閥值，選擇該背景像素；以及基於該移動物體偵測模組擷取該背景像素。
本發明提出了一個全新的適用複雜場景的移動偵測方法，該方法是根據類神經網路中的輻狀基底函數(Radial Basis Function Neural Networks；RBF)以達到在動態場景中精確的偵測移動物體。這個方法可以有效適應環境變化且不論在靜態或動態場景中皆能有效的偵測移動物體。輻狀基底函數類神經網路具備很強的非線性描述能力和局部突出適應的能力且網路的架構較小，所以很適合作為在動態和靜態場景偵測移動物體的應用。
為達成上述目的及功效，本發明所採用之技術手段，茲繪圖就本發明較佳實施例詳加說明其特徵與功能如下，俾利完全了解。
請參閱第一圖所示，係為本發明較佳實施例之流程圖一，本發明適用複雜場景的移動偵測方法，該方法包括：
(110)接收包含有複數輸入像素之一影像圖框，該每一輸入像素包含有一第一像素資訊；
(120)基於該複數輸入像素執行一多重背景產生模組；
(130)基於該多重背景產生模組產生複數背景像素；
(140)執行一移動物體偵測模組；以及
(150)基於該移動物體偵測模組擷取該背景像素。
於該步驟(110)中，該接收包含有複數輸入像素之該影像圖框，該每一輸入像素包含有該第一像素資訊，該第一像素資訊進一步包括一色相(Hue)、一飽和度(Saturation)以及一明度(Value)，係使用HSV色彩空間，是和人類視覺特性最接近的色彩空間，它嘗試描述比RGB更準確的感知顏色聯繫，並仍保持在計算上簡單。在接下來的部份我們用第一像素資訊(h,s,v)來表示每個輸入像素pt(x,y)的像素值。
於該步驟(120)中，該基於該複數輸入像素執行該多重背景產生模組，請參閱第二圖所示，該多重背景產生模組包括：
(121)從該複數輸入像素選擇至少一背景像素，該每一背景像素包含有一第二像素資訊；
(122)提供一第一閥值；
(123)比較該第一像素資訊與該第一閥值；
(124)如該第一像素資訊小於該第一閥值，基於該輸入像素更新該背景像素；以及
(125)如該第一像素資訊大於該第一閥值，基於該輸入像素新增該背景像素；
於該步驟(121)中，該從該複數輸入像素選擇至少一背景像素進一步包括，基於該第一像素資訊與該第二像素資訊計算一第一距離；以及基於該第一距離選擇該背景像素。其中該第一距離為一歐基里德距離(Euclidean distance)，該每一背景像素包含有該第二像素資訊，該第二像素資訊進一步包括一色相(Hue)、一飽和度(Saturation)以及一明度(Value)。
本發明利用該第一像素資訊與該第二像素資訊色彩空間中的歐基里德距離來決定輸入的像素值pt(x,y)是否屬於對應的背景像素。
本發明透過下列式子來計算該輸入像素之該第一像素資訊與該背景像素之該第二像素資訊pi=(hi,si,vi)和pj=(hj,sj,vj)之間的第一距離：d(p _i,p _j)=∥(v _i s _icos(h _i),v _i s _isin(h _i),v _i)-(v _j s _jcos(h _j),v _j s _jsin(h _j),v _j)
本發明這個方法可以避免色相值週期性和當飽和度過小時色相值不穩定的問題。
於該步驟(122)以及(123)中，該提供該第一閥值，取得與該輸入像素對應的背景像素後，係利用一個第一閥值ε來決定輸入像素pt(x,y)是否屬於其中一個背景像素B(x,y)k,k=1~n。判斷式表示如下：
以及該比較該第一像素資訊與該第一閥值，每一個輸入像素的pt(x,y)會和對應的背景像素B(x,y)1至B(x,y)n一一比較。
於該步驟(124)以及(125)中，如該第一像素資訊小於該第一閥值，基於該輸入像素更新該背景像素，係表示輸入像素和其中一個對應的背景像素很接近，該輸入像素pt(x,y)即屬於該背景像素，此時我們會更新此背景像素，該背景像素利用下式做更新。
=(1-β)B(x,y)_k+βp _t(x,y)
其中B(x,y)k,分別為原始的和更新後位於位置(x,y)的第k個背景像素而β為一個預先設定的參數。
以及，該如該第一像素資訊大於該第一閥值，該輸入像素將被視為一個新的背景像素，基於該輸入像素新增該背景像素。
於步驟(130)中，該基於該多重背景產生模組產生複數背景像素，請同時參閱第三圖所示，係為本發明係為本發明較佳實施例之實施示意圖一，係為一個建立好的多重背景產生模組中在動態背景像素和靜態背景像素的實例，由圖中可清楚看出，動態背景像素需要3個不同的背景像素來表示其動態範圍，靜態背景像素只需要單一背景像素。
於步驟(140)中，執行該移動物體偵測模組，請參閱第四圖所示，係為本發明較佳實施例之流程圖三，該移動物體偵測模組包括：
(141)基於該複數輸入像素與該複數背景像素計算一輻狀基底函數；
(142)基於該輻狀基底函數產生一輸出值；
(143)提供一第二閥值；
(144)比較該輸出值與該第二閥值；以及
(145)如該輸出值小於該第二閥值，選擇該背景像素。
於步驟(141)中，該基於該複數輸入像素與該複數背景像素計算一輻狀基底函數，請同時參閱第五圖所示，係為本發明較佳實施例實施示意圖二，本發明採用的輻狀基底函數1類神經網路的架構，由三個輸入神經元之輸入層11，M個神經元的一隱藏層12和一輸出神經元之輸出層13所組成。多重背景產生模組決定了神經元的個數M和中心點位置C1~CM，輻狀基底函數1網路架構的大小，由影像圖框的複雜度決定，架構建立後，就可以開始進行偵測運算。
一般來說，隱藏層必需有足夠的神經元，網路架構才能夠精確，但神經元太多會使網路架構變的太大而影響到執行效率，所以本演算法中利用建立一個合適的多重背景產生模組來建構隱藏層是很重要的。
於步驟(142)中，該基於該輻狀基底函數產生該輸出值，進一步包括輸入該第一像素資訊；基於該第一像素資訊與該第二像素資訊計算一第二距離；提供一基底函數；以及基於該第二距離與該基底函數計算該輸出值。其中該第二距離為一歐基里德距離(Euclidean distance)，該基底函數進一步包括一高斯函數(Gaussian function)、一線性函數(Linear function)、一三次函數(Cubic function)以及一平面曲線函數(Plate spline function)。
首先輸入層的輸入向量為輸入像素pt(x,y)在第一像素資訊HSV色彩空間數值的(h,s,v)。輸入層的神經元將輸入向量傳遞至隱藏層，經過隱藏層中輸入向量和神經元中心點之該背景像素之第二像素資訊的歐基里德距離計算後，透過下式基底函數(basis function)的計算產生隱藏層的輸出值。
Z _i(p)=Φ(||p-C _i||)　i=1,2,....,M
其中Φ(.)為基底函數，C _i為第i個神經元的中心位置，p為輸入向量，M為隱層藏中的神經元個數，∥p-C _i∥為p和C _i的歐基里德距離。
一般來說，有許多型式的基底函數被應用在隱藏層中，包括高斯函數(Gaussian function)、線性函數(Linear function)、三次函數(Cubic function)、平面曲線函數(Plate spline function)等等。在本發明中，我們採用其中最被廣泛使用的高斯函數如下：
其中我們將σ設為該第一閥值ε。
於步驟(143)中，提供該第二閥值包括，基於該輸出值提供該第二閥值。
於步驟(144)以及(145)中，比較該輸出值與該第二閥值；以及如該輸出值小於該第二閥值，選擇該背景像素。該如該輸出值小於該第二閥值，選擇該背景像素，進一步包括分割該影像圖框為複數區塊，該每一區塊包含有複數該背景像素；基於該輸出值計算一輸出值總和；以及如該輸出值總和小於該第二閥值，選擇該區塊。
當輸出值愈大時，表示輸入向量和隱藏層神經元的中心點愈靠近，即表示該輸入像素為該背景像素的機率就愈高。為了減少在影像圖框不必要的偵測，我們把每張影像圖框分割成多個W×W的區塊，接著再計算每個區塊的基底函數總合如下：
其中p為區塊μ中的第一像素資訊，M為隱層神經元中的個數，w可設為4。
當計算出區塊(i,j)的總合超過該第二閥值S時，區塊A(i,j)標示為‘0’，即表示其中沒有包含移動物體。反之，A(i,j)標示為‘1’，代表此區塊可能含有移動物體。
請同時參閱第六圖所示，係為本發明較佳實施例之實施示意圖三，該影像圖框2包含複數區塊21，其中該第二閥值S設為12時，具有移動物體的區塊21可以有效的分割出來。最後，將隱藏層中的神經元中心點(即背景像素)更新。
其中，為在位置(x,y)更新前和更新後的第k個候選，α為預先設定的參數，其中由該步驟(122)決定pt(x,y)是否屬於。
最後，於步驟(150)中，該基於該移動物體偵測模組擷取該背景像素，區塊警示程序執行後，非必要的偵測已減少，接下來物件擷取程序只需在可能含有移動物體的區塊運行。做為本發明的最後步驟，輻狀基底函數類神經網路的輸出層用來計算移動偵測的遮罩作為最後的結果。輸出層是計算隱藏層輸出值的線性權重總合，如下：
其中wi為隱藏層中第i個神經元和輸出層連結的權重，zi為隱藏層中第i個神經元的輸出值，w0為一個預先設定的門檻值。最後的二值化偵測結果可由下式得到。
D(x,y)被標記為‘1’時表示輸入像素pt(x,y)屬於某個移動物體，反之當D(x,y)被標記為‘0’時，輸入像素pt(x,y)屬於背景。在計算完偵測結果後，演算法會調整權重給下次的偵測運算運用。所有權重的初始值皆設為1，之後在依下式調整。
其中為影像It中第i個隱藏神經元和輸出層的權重，為學習速率，M為隱藏層神經元個數。在權重調整後，較接近輸入向量的隱藏層神經元，其權重會被增強，其它的減少。
請參閱第七圖所示，係為本發明較佳實施例之實施示意圖四，由圖中可清楚看出，本發明較佳實施例之實施示意圖與先前移動偵測方法之比較，圖示依序為：(a)輸入影像圖框；(b)擷取移動物件影像圖框；(c)先前技術1；(d)先前技術2；(e)先前技術3；(f)先前技術4；(g)先前技術5；以及(h)本發明較佳實施例。
由實驗數據可以得知，本發明適用複雜場景的移動偵測方法之精確度在公正的評估數據相似度(Similarity)和F1下，比先前技術分別高出最多82.93%和87.25%。
請參閱全部附圖所示，相較於習用技術，本發明具有以下優點：
一、使用HSV色彩空間，是和人類視覺特性最接近的色彩空間，它嘗試描述比RGB更準確的感知顏色聯繫，並仍保持在計算上簡單。
二、藉由一個非監督式的學習程序產生一個具有彈性的多重背景產生模組，該多重背景產生模組可以動態的學習不論是靜態或動態背景的特性，該多重背景產生模組可自動判斷背景的動態程度在不同的背景區域產生不同數量的背景像素。
三、使用輻狀基底函數類神經網路，藉由該輻狀基底函數類神經網路中可局部調整的神經元將每一個輸入像素映射到已建立好的多重背景產生模組，這個步驟可精確的將移動物體從背景中擷取出來。
四、提出的區塊警示利用統計高斯的基底函數在區塊內的總合減少在背景區域不必要的偵測，此法充份利用時間性和空間性的特性達到精確的偵測。
透過上述之詳細說明，即可充分顯示本發明之目的及功效上均具有實施之進步性，極具產業之利用性價值，且為目前市面上前所未見之新發明，完全符合發明專利要件，爰依法提出申請。唯以上所述著僅為本發明之較佳實施例而已，當不能用以限定本發明所實施之範圍。即凡依本發明專利範圍所作之均等變化與修飾，皆應屬於本發明專利涵蓋之範圍內，謹請　貴審查委員明鑑，並祈惠准，是所至禱。
(110)~(150)．．．步驟
(121)~(125)．．．步驟
(141)~(145)．．．步驟
1．．．輻狀基底函數
11．．．輸入層
12．．．隱藏層
13．．．輸出層
2．．．影像圖框
21．．．區塊
第一圖　係為本發明較佳實施例之流程圖一。
第二圖　係為本發明較佳實施例之流程圖二。
第三圖　係為本發明較佳實施例之實施示意圖一。
第四圖　係為本發明較佳實施例之流程圖三。
第五圖　係為本發明較佳實施例之實施示意圖二。
第六圖　係為本發明較佳實施例之實施示意圖三。
第七圖　係為本發明較佳實施例之實施示意圖四。
(110)～(150)．．．步驟

权利要求:
Claims (10)
[1] 一種適用複雜場景的移動偵測方法，該方法包括：(110)接收包含有複數輸入像素之一影像圖框，該每一輸入像素包含有一第一像素資訊；(120)基於該複數輸入像素執行一多重背景產生模組，包括：(121)從該複數輸入像素選擇至少一背景像素，該每一背景像素包含有一第二像素資訊；(122)提供一第一閥值；(123)比較該第一像素資訊與該第一閥值；(124)如該第一像素資訊小於該第一閥值，基於該輸入像素更新該背景像素；以及(125)如該第一像素資訊大於該第一閥值，基於該輸入像素新增該背景像素；(130)基於該多重背景產生模組產生複數背景像素；(140)執行一移動物體偵測模組，包括：(141)基於該複數輸入像素與該複數背景像素計算一輻狀基底函數(Radial Basis Function Neural Networks；RBF)；(142)基於該輻狀基底函數產生一輸出值；(143)提供一第二閥值；(144)比較該輸出值與該第二閥值；以及(145)如該輸出值小於該第二閥值，選擇該背景像素；以及(150)基於該移動物體偵測模組擷取該背景像素。
[2] 如申請專利範圍第1項所述之適用複雜場景的移動偵測方法，其中該第一像素資訊以及該第二像素資訊進一步包括一色相、一飽和度以及一明度。
[3] 如申請專利範圍第1項所述之適用複雜場景的移動偵測方法，其中該從該複數輸入像素選擇至少一背景像素，進一步包括：基於該第一像素資訊與該第二像素資訊計算一第一距離；以及基於該第一距離選擇該背景像素。
[4] 如申請專利範圍第3項所述之適用複雜場景的移動偵測方法，其中該第一距離為一歐基里德距離(Euclidean distance)。
[5] 如申請專利範圍第1項所述之適用複雜場景的移動偵測方法，其中該基於該輻狀基底函數產生該輸出值進一步包括：輸入該第一像素資訊；基於該第一像素資訊與該第二像素資訊計算一第二距離；提供一基底函數；以及基於該第二距離與該基底函數計算該輸出值。
[6] 如申請專利範圍第5項所述之適用複雜場景的移動偵測方法，其中該第二距離為一歐基里德距離(Euclidean distance)。
[7] 如申請專利範圍第5項所述之適用複雜場景的移動偵測方法，其中該基底函數進一步包括一高斯函數(Gaussian function)、一線性函數(Linear function)、一三次函數(Cubic function)以及一平面曲線函數(Plate spline function)。
[8] 如申請專利範圍第1項所述之適用複雜場景的移動偵測方法，其中該提供該第二閥值進一步包括：基於該輸出值提供該第二閥值。
[9] 如申請專利範圍第1項所述之適用複雜場景的移動偵測方法，其中該如該輸出值小於該第二閥值，選擇該背景像素，進一步包括：分割該影像圖框為複數區塊，該每一區塊包含有複數該背景像素；以及如該輸出值小於該第二閥值，選擇該區塊。
[10] 如申請專利範圍第9項所述之適用複雜場景的移動偵測方法，其中該如該輸出值小於該第二閥值，選擇該區塊，進一步包括：基於該輸出值計算一輸出值總和；以及如該輸出值總和小於該第二閥值，選擇該區塊。

类似技术:

公开号 | 公开日 | 专利标题

TWI441096B|2014-06-11|適用複雜場景的移動偵測方法

CN106845487B|2020-04-17|一种端到端的车牌识别方法

CN107967451B|2021-04-27|一种对静止图像进行人群计数的方法

Sun et al.2019|Abnormal event detection for video surveillance using deep one-class learning

Huang et al.2013|Radial basis function based neural network for motion detection in dynamic scenes

CN103258332B|2016-06-29|一种抗光照变化的运动目标的检测方法

CN107330390B|2020-12-01|一种基于图像分析和深度学习的人数统计方法

Huang et al.2013|Automatic moving object extraction through a real-world variable-bandwidth network for traffic monitoring systems

CN103530640A|2014-01-22|基于AdaBoost与SVM的无牌车辆检测方法

Wang et al.2018|Background subtraction on depth videos with convolutional neural networks

Qezavati et al.2019|Partially covered face detection in presence of headscarf for surveillance applications

CN108960404B|2021-02-02|一种基于图像的人群计数方法及设备

Yang et al.2019|Non-temporal lightweight fire detection network for intelligent surveillance systems

Byeon et al.2016|A surveillance system using CNN for face recognition with object, human and face detection

WO2019114145A1|2019-06-20|监控视频中人数检测方法及装置

Chang et al.2013|Robust abandoned object detection and analysis based on online learning

CN109902613A|2019-06-18|一种基于迁移学习和图像增强的人体特征提取方法

Singh et al.2018|A deep learning based technique for anomaly detection in surveillance videos

WO2021238019A1|2021-12-02|基于Ghost卷积特征融合神经网络实时车流量检测系统及方法

CN111653023A|2020-09-11|一种智能工厂监管方法

CN107301376B|2021-04-13|一种基于深度学习多层刺激的行人检测方法

CN111723693A|2020-09-29|一种基于小样本学习的人群计数方法

Kinattukara et al.2013|Clustering based neural network approach for classification of road images

CN107341456B|2020-08-14|一种基于单幅户外彩色图像的天气晴阴分类方法

KR20150055481A|2015-05-21|영상 내 그림자 화소 제거를 위한 배경 기반 방법

同族专利:

公开号 | 公开日

US8582812B2|2013-11-12|

TWI441096B|2014-06-11|

US20130039534A1|2013-02-14|

引用文献:

公开号 | 申请日 | 公开日 | 申请人 | 专利标题

US8301577B2|2008-11-21|2012-10-30|National Yunlin University Of Science And Technology|Intelligent monitoring system for establishing reliable background information in a complex image environment|US9286690B2|2014-03-14|2016-03-15|National Taipei University Of Technology|Method and apparatus for moving object detection using fisher's linear discriminant based radial basis function network|

US9349193B2|2014-03-31|2016-05-24|National Taipei University Of Technology|Method and apparatus for moving object detection using principal component analysis based radial basis function network|

WO2017165538A1|2016-03-22|2017-09-28|Uru, Inc.|Apparatus, systems, and methods for integrating digital media content into other digital media content|

CN107316314A|2017-06-07|2017-11-03|太仓诚泽网络科技有限公司|一种动态背景提取方法|

CN109255287B|2018-07-23|2021-08-10|河海大学|领域知识水平集模型驱动的多维数据处理方法|

法律状态:
2020-03-11| MM4A| Annulment or lapse of patent due to non-payment of fees|

优先权:

申请号 | 申请日 | 专利标题

TW100128474A|TWI441096B|2011-08-10|2011-08-10|適用複雜場景的移動偵測方法|TW100128474A| TWI441096B|2011-08-10|2011-08-10|適用複雜場景的移動偵測方法|

US13/290,031| US8582812B2|2011-08-10|2011-11-04|Motion detection method for complex scenes|

[返回顶部]